Teacher Retains Full Tokens, Student Merges Efficiently: TM20K for E-Commerce Sequence Modeling in Ad Recommendation
教师保留完整Token，学生高效合并：面向广告推荐的电商序列建模TM20K
🧭 超长序列建模 · 知识蒸馏 · Token合并 ★ 深度解读
ByteDance
通过全注意力和两阶段蒸馏，用三种Token合并将电商序列扩展到20K，在线广告收入提升1.036%，延迟仅增5.6%
📌 工作参考价值（4 点）
- Token合并三策略可直接复用：相同商品ID局部合并（LITM）可聚合短时间窗口重复行为，去噪并减少序列长度；位置自适应合并（PATM）对近期行为保留完整，对远期行为激进压缩，符合兴趣衰减现实；层间金字塔合并（LPTM）让底层用长序列提取细粒度，上层用短序列做高层抽象，这种分层压缩在Transformer中容易实现。
- 两阶段蒸馏框架适合工业超长序列落地：让昂贵的教师模型只训练一次，不参与在线推理，将计算开销剥离；学生模型用廉价Token合并压缩序列，通过蒸馏恢复大部分精度，突破了长序列的效率瓶颈。
- 全注意力优于目标注意力：实验证明在20K电商序列上全注意力AUC比目标注意力高约0.25%，且GPU利用率更高，说明序列内交互对预测很重要，不应只用目标-序列注意力。
- 工程实现技巧：LITM和PATM在CPU上合并原始特征而非嵌入，避免GPU-CPU带宽瓶颈；QK Norm可稳定超长序列训练；Stack Sequence重新排列变长序列的token以减少无效padding，节省显存约10GB。